Các châu vùng phía bắc và đông bắc biên giới Việt-Trung thời Lý vốn là các châu ki mi thời thuộc Đường. Họ là hậu duệ của người Tây Âu. Thành phần dân cư chủ yếu ở khu vực này không phải người Hán hay người Việt mà là những tộc người thiểu số. Cả hai triều đình Lý-Tống đều gọi họ là dân Man[3]. Các sách Lĩnh Ngoại đại đáp của Chu Khứ Phi và Quế hải ngu hành chí của Phạm Thành Đại đời Tống chép rằng các tộc sống ở khu vực này là người Man, Lão, Dao, Đãn[4].

Sau khi đế chế nhà Đường sụp đổ, Trung Quốc bị chia cắt khá dài, phía Việt Nam cũng trong thời kỳ phục quốc và ổn định nội chính. Vì vậy các tù trưởng đứng đầu các cộng động cư dân tại vùng biên có điều kiện vươn lên trở thành các lực lượng chính trị, quân sự độc lập và khá hùng mạnh, chưa hẳn thuộc về nhà Lý hay nhà Tống[5][6]:

1. Các châu Yên Bình, Vũ Lặc, Tư Lăng, Thất Nguyên ở khu vực Tả Giang (Trung Quốc) và Quảng Nguyên (Cao Bằng) do họ Nùng quản lý;
2. Các châu An Đức, Quy Lạc, Lộ Thành, Điền Châu thuộc Hữu Giang (Trung Quốc), động Như Tích và châu Vĩnh An (nay thuộc Quảng Ninh) do họ Hoàng kiểm soát.
3. Vùng Tư Lang, Lộc Châu, Tây Bình bên đất Tống và châu Tô Mậu thuộc Đại Việt do họ Vi kiểm soát.
4. Châu Vị Long (thuộc Tuyên Quang hiện nay) do họ Hà (vốn phát nguyên từ Ung châu) kiểm soát.
5. Vùng Lạng châu (nay thuộc Lạng Sơn, Bắc Giang) do họ Thân (vốn mang họ Giáp) kiểm soát.

Sự phân biệt theo địa danh như trên không tuyệt đối chính xác mà trên thực tế, các họ ở lẫn với nhau[7]. Sách Lĩnh Ngoại đại đáp của Chu Khứ Phi mô tả những người thiểu số vùng biên viễn hai nước Tống-Việt đều thiện chiến, thích dùng vũ khí, giỏi cưỡi ngựa[8].